Automatische Vektorzeichnungen von Keilschrifttafeln aus 3D-Messdaten mit dem GigaMesh Software-Framework

Aufgrund ihrer gekrümmten Form sind Keilschrifttafeln auf Photos häufig nicht vollständig lesbar. Eine besser lesbare zweidimensionale Darstellung lässt sich durch Anwendung eines lokalen Filterverfahrens auf die hoch aufgelösten 3D-Scandaten der Tafeln erreichen. Dieses Verfahren berechnet die lokale Krümmung auf mehreren Maßstabsebenen mithilfe von virtuellen Kugeln unterschiedlicher Größe, deren Schnittmenge mit dem Dreiecksnetz der Oberfläche ermittelt wird. Mit diesem Ansatz lässt sich die Lesbarkeit von Keilschrifttafeln und alten Steininschriften deutlich erhöhen. Bei Keilschrifttafeln ist es darüber hinaus mit dem hier vorgestellten GigaMesh Software-Framework möglich, die Keile zu erkennen und eine automatische Umzeichnung (Vektordarstellung) zu erstellen

Automatable Annotations – Image Processing and Machine Learning for Script in 3D and 2D with GigaMesh

Libraries, archives and museums hold vast numbers of objects with script in 3D such as inscriptions, coins, and seals, which provide valuable insights into the history of humanity. Cuneiform tablets in particular provide access to information on more than three millennia BC. Since these clay tablets require an extensive examination for transcription, we developed the modular GigaMesh software framework to provide high-contrast visualization of tablets captured with 3D acquisiton techniques. This framework was extended to provide digital drawings exported as XML-based Scalable Vector Graphics (SVG), which are the fundamental input of our approach inspired by machine-learning techniques based on the principle of word spotting. This results in a versatile symbol-spotting algorithm to retrieve graphical elements from drawings enabling automated annotations. Through data homogenization, we achieve compatibility to digitally born manual drawings, as well as to retro-digitized drawings. The latter are found in large Open Access databases, e.g. provided by the Cuneiform Database Library Initiative (CDLI). Ongoing and future work concerns the adaptation of filtering and graphical query techniques for two-dimensional raster images widely used within Digital Humanities research

Unwrapping Highly-Detailed 3D Meshes of Rotationally Symmetric Man-Made Objects

Rotationally symmetric objects commonly occur at archæological finds. Instead of creating 2D images for documentation purposes by manual drawing or photographic methods, we propose a method based on digitally colored surface models that are acquired by 3D scanners, thereby including color information. We then transform these highly-detailed meshes using simple geometrical objects such as cones and spheres and unwrap the objects onto a plane. Our method can handle curved vessel profiles by dividing the surface into multiple segments and approximating each segment with a cone frustum that serves as an auxiliary surface. In order to minimize distortions, we introduce a simple quality measure based on distances of points to a fitted cone. We then extend our method to approximately spherical objects by fitting a sphere on the surface of the object and applying a map projection, namely the equirectangular projection known from cartography. Our implementation generates true-to-scale images from triangular meshes. Exemplary results demonstrate our methods on real objects, ranging from small and medium-sized objects such as clay cones from the Ancient Orient and figural friezes of Greek vessels to extremely large objects such as the remains of a cylindrical tower of Heidelberg Castle

Cuneiform Character Similarity Using Graph Representations

Motivated by the increased demand for computerized analysis of documents within the Digital Humanities we are developing algorithms for cuneiform tablets, which contain the oldest handwritten script used for more than three millennia. These tablets are typically found in the Middle East and contain a total amount of written words comparable to all documents in Latin or ancient Greek. In previous work we have shown how to extract vector drawings from 3D-models similar to those manually drawn over digital photographs. Both types of drawings share the Scalable Vector Graphic (SVG) format representing the cuneiform characters as splines. These splines are transformed into a graph representation and extend these by triangulation. Based on graph kernel methods we show a similarity metric for cuneiform characters, which have higher degrees of freedom than handwriting with ink on paper. An evaluation of the precision and recall of our proposed approach is shown and compared to well-known methods for processing handwriting. Finally a summary and an outlook are given

CNN based Cuneiform Sign Detection Learned from Annotated 3D Renderings and Mapped Photographs with Illumination Augmentation

Motivated by the challenges of the Digital Ancient Near Eastern Studies (DANES) community, we develop digital tools for processing cuneiform script being a 3D script imprinted into clay tablets used for more than three millennia and at least eight major languages. It consists of thousands of characters that have changed over time and space. Photographs are the most common representations usable for machine learning, while ink drawings are prone to interpretation. Best suited 3D datasets that are becoming available. We created and used the HeiCuBeDa and MaiCuBeDa datasets, which consist of around 500 annotated tablets. For our novel OCR-like approach to mixed image data, we provide an additional mapping tool for transferring annotations between 3D renderings and photographs. Our sign localization uses a RepPoints detector to predict the locations of characters as bounding boxes. We use image data from GigaMesh's MSII (curvature, see https://gigamesh.eu) based rendering, Phong-shaded 3D models, and photographs as well as illumination augmentation. The results show that using rendered 3D images for sign detection performs better than other work on photographs. In addition, our approach gives reasonably good results for photographs only, while it is best used for mixed datasets. More importantly, the Phong renderings, and especially the MSII renderings, improve the results on photographs, which is the largest dataset on a global scale.Comment: This paper was accepted to ICCV23 and includes the DOI for an Open Access Dataset with annotated cuneiform scrip

Multi-Scale Integral Invariants for Robust Character Extraction from Irregular Polygon Mesh Data

Hunderttausende von antiken Dokumenten in Keilschrift befinden sich in Museen, und täglich werden weitere bei archäologischen Grabungen gefunden. Die Auswertung dieser Dokumente ist wesentlich für das Verständnis der Herkunft von Kultur, Gesetzgebung und Religion. Die Keilschrift ist eine Handschrift und wurde in den Jahrtausenden vor Christi Geburt im gesamten alten Orient benutzt. Der Name leitet sich von den keilförmigen Eindrücken eines Schreibgriffels in den weichen Beschreibstoff Ton ab. Das Anfertigen von Handzeichnungen und Transkriptionen dieser Tontafeln ist eine langwierige Aufgabe und verlangt nach Unterstützung mittels automatisierter rechnergestützter Verfahren. Das Ziel dieser Arbeit ist die präzise Extraktion von Schriftzeichen mit variablen Formen in 3D. Die für die Merkmalsextraktion aus 2D-Mannigfaltigkeiten in 3D entscheidenden Schritte sind Kantenerkennung und Segmentierung. Robuste Techniken in der Signalverarbeitung und dem Shape Matching benutzen hierfür Integralinvarianten in 2D. In aktuellen Arbeiten werden die Integralinvarianten grob geschätzt, um wenige prägnante Merkmale zu finden, mit denen sich zerbrochene 3D-Objekte zusammensetzen lassen. Mit dem Ziel der exakten Bestimmung der 3D-Formen von Zeichen, wurde die aus der Bildverarbeitung und Mustererkennung bekannte Verarbeitungskette an 3D-Modelle angepasst. Diese Modelle bestehen aus Millionen von Messpunkten, die mit optischen 3D-Scannern aufgenommen werden. Die Punkte approximieren Mannigfaltigkeiten durch ein irreguläres Dreiecksnetz. Verschiedene Typen von integralinvarianten Filtern in mehreren Skalen führen zu verschiedenen hochdimensionalen Merkmalsräumen. Faltungen und kombinierte Metriken werden auf die Merkmalsräume angewandt, um Zusammenhangskomponenten zu bestimmen. Diese Komponenten stellen die Zeichen genauer als die Messauflösung dar. Parallel zum Design der Algorithmen werden die Eigenschaften der verschiedenen Integralinvarianten analysiert. Die Interpretation der Filterergebnisse sind von großem Nutzen zur Bestimmung von robusten Krümmungsmaßen und zur Segmentierung. Die Extraktion von Keilschriftzeichen wird mit einer Voronoi basierten Berechnung von minimalen normalisierbaren Vektordarstellungen vervollständigt. Diese Darstellung ist eine wichtige Grundlage für die Paläographie. Weitere Abstraktion und Normalisierung der Darstellung führt zur Zeichenerkennung. Die Einbettung der Algorithmen in das neu entworfene mehrschichtige GigaMesh Software Framework erlaubt eine Vielzahl von Anwendungen. Die Algorithmen nutzen den Speicher effektiv und die Verarbeitungskette ist parallelisiert. Die konfigurierbare Verarbeitungskette hat nur einen relevanten Parameter, nämlich die maximale Größe der zu erwartenden Merkmale. Die vorgestellten Verfahren wurden an Hunderten von Keilschrifttafeln, so wie weiteren realen und synthetischen Objekten getestet.Repräsentative Ergebnisse sowie Aufwands- und Genauigkeitsabschätzung der Algorithmen werden gezeigt. Ein Ausblick auf künftige Erweiterungen und Integralinvarianten in höheren Dimensionen gegeben

Documentation of Rotationally Symmetric Archaeological Finds by 3D Shape Estimation

Zehntausende Scherben von Keramiken werden auf archäologischen Ausgrabungen gefunden. Diese Tonscherben müssen für abschließende wissenschaftliche Untersuchungen dokumentiert werden. Grundlage dieser Dokumentation ist bis heute die händische Zeichnung der Profillinie, welche einen vertikalen Schnitt durch die Scherbe entlang der Rotationsachse, auch Symetrieachse genannt, beschreibt. Die Handzeichnungen der Profillinie und die dafür benötigte Rotationsachse werden von Archäologen unter zur Hilfenahme verschiedenster Werkzeuge, wie zum Beispiel dem Profilkamm, flexiblem Bleidraht oder Kreisschablonen erstellt. Diese traditionelle Methode der Dokumentation ist allerdings sehr zeitaufwendig und fehleranfällig. Daher wurde der Profilograph entwickelt, der mit manuellem, mechanischem Abtasten der Scherben die Profillinie zur Weiterverarbeitung an einen Computer übermittelt. Da auch der Profilograph auf Grund der manuellen Arbeitsschritte keine schnellere Dokumentation ermöglicht, wurde ein automatisches System zur Aufnahme von Scherben und zur automatisierten Berechnung der Profillinie entwickelt. Die Erfassung wird mittels Lichtschnittverfahren (strukturiertes Licht) durchgeführt. Aus den Aufnahmen wird ein 3D-Modell erstellt, aus dem die Rotationsachse und somit die Profillinie von Scherben berechnet wird. Durch ständige Experimente, Zusammenarbeit mit Archäologen und dem Vergleich mit traditionellen Methoden, wurde das automatische System weiterentwickelt. Diese Arbeit stellt eine neue Methode zur Bestimmung der Rotationsachse, basierend auf den traditionellen Methoden der Archäologen vor, welche eine genauere Berechnung der Profillinie ermöglicht. Weiters werden auch methodische Experimente zur Analyse der Geometrie von Keramiken gezeigt, welche Rückschlüsse auf antike Fertigungstechniken ermöglichen. Das vorgestellte System wurde auf künstlichen und realen Daten getestet. Für die Experimente mit realen Daten wurde das System mittels Funden der archäologischen Ausgrabung in Tel Dor in Israel getestet und mit den traditionellen Handzeichnungen und dem Profilographen verglichen. Die Ergebnisse im Bezug auf dokumentierten Scherben pro Stunde und zur Präzision der verschiedenen Verfahren werden in diesem Dokument gezeigt. Abschließend werden künftige Erweiterungen vorgestellt